[2025-11-04] SHAP

🦥 본문

XAI

설명 가능한 인공지능. 모델이 만들어지고 난 이후에 설명하는 방법을 대상으로 하고 있음

Model-agnostic XAI

학습에 사용된 알고리즘에 구애받지 않는 방법 ↔ Model specific(특정 모델에서만 작동)

• Global Explanations : 모델에 대한 전반적인 동작 방식을 설명
• Local Explanations : 개별 사건에 대한 의사결정의 인과관계에 대해서 설명

Surrogate Model

복잡하고 거대한 원본 모델을 해석 가능할 수 있도록 모방된 모델을 의미. 기존의 설명하기 힘든 black box 모델을 surrogate 모델로 바꿔서 사용. 전역,국소 둘 다를 설명하기 위해 사용

Shapley Value

• 각 feature의 기여도를 확인

즉, 해당 feature을 넣었다 빼보면서 해당 feature의 기여도를 확인하고 영향력인 Shapley Value를 계산

Additive Feature Attribution Methods

단순한 Explanation Model을 이용하여 비교적 복잡한 Original Model을 해석하는 사후 검정 기법

선형 회귀 모델을 가중치를 이용하여 특성의 영향력 및 중요도를 계산. Shapley Value는 Additive Feature Attribution 이라는 Method 중 하나

• 선형 회귀 모델 : 종속 변수가 독립 변수들의 선형 함수로 표현

• 특징
  1. Local Accuracy : 설명 모델이 원본 모델의 예측 결과를 입력 주변의 국소적인 영역에서 정확하게 근사
  2. Missingness : 설명에서 사용되는 입력에서 feature가 존재하지 않는다고 가정할 경우, 해당 특성의 기여 값 역시 0이 되어야 함.
  3. Consistency : 모델이 변경되어 어떤 feature의 한계 기여가 증가 및 동일하다면 Attribution Value도 증가하거나 변하지 않음.

SHAP

원인 인자를 찾고 얼마나 결과에 영향을 주었는 지를 파악하는 것. Shapley Value의 조건부 평균. 해당 특성을 제외했을 때 나타난 예측 값의 차이가 아닌, 알고 싶은 특성의 기여도를 평균하여 계산한 것

예측 결과를 낼 수 있게 도움을 주는 feature와 예측에 방해가 되는 feature로 나누어 설명

• 문제점

  Shapley Value를 직접적으로 계산하는 것은 Feature의 순열 조합을 모든 관측치에 대해 계산 → 비용 증가

Kernel SHAP

Linear LIME + Shapley Value. Model-agnostic Method

• LIME : 관측치가 원본 데이터에 얼마나 가까운지에 따라 가중치를 매김
• SHAP는 Shapley Value 측정에서 가중치에 따라 샘플링된 관측치에 가중치를 부여

Tree SHAP

Tree based Model. Model-specific Method(Tree base에만 가능). 기존의 Tree Ensemble Model와 다르게, Split 순서와 무관한 일정한 Feature impotance를 계산할 수 있음

Deep SHAP

Deep LIFT + Shapley Value. Deep Learning based Model만의 Model-specific Method